sigmoid 函数
1 定义
Sigmoid 函数是一种具有 S 形曲线的数学函数。它通常在人工神经网络中用作激活函数,在统计学中用作概率分布的累积分布函数。Sigmoid 函数最常见的例子是 logistic 函数,其定义公式为
Sigmoid 函数是有界、可微、实数函数,对所有实数输入值都有定义,在每个点都有一个非负导数,并且恰好有一个拐点。当 y 接近 -∞ 和 +∞ 时,它们受到一对水平渐近线的限制。
西格玛函数用于模拟饱和或非线性系统。它们可用于模拟人口增长、疾病传播和新技术的采用。
Tip
还记得高中生物的种群数量“S”型曲线吗?那就是一个 logistic 函数😎

2 作用
sigmoid 函数被广泛应用于分类问题,因为它可以将任何输入值映射为介于 0 和 1 之间的值,而这个值可以解释为概率。这在二元分类问题中非常有用,因为在二元分类问题中,输出需要转化为概率分数,其中接近 0 的值代表一类,接近 1 的值代表另一类。
Sigmoid 函数也是可微分的,而且导数简单,易于计算。这使它成为反向传播等基于梯度的优化算法的理想选择。
此外,sigmoid 函数是非线性的,可用来模拟复杂的决策边界。它还具有约束性,可以防止输出变得过大或过小。